Milch sinh ngày 30 tháng 3 năm 1892 tại Wilhelmshaven, là con trai của ông Anton Milch, một dược sĩ Do Thái[1] từng làm việc trong Hải quân Đế quốc Đức, và bà Clara Milch, nhũ danh Vetter. Năm 1935, khi tin đồn bắt đầu lan truyền rằng cha ông là người Do Thái, Gestapo đã bắt đầu một cuộc điều tra và chỉ dừng lại khi có sự can thiệp của Goring, người đã tạo ra một bản tuyên thệ của mẹ Milch với nội dung rằng người cha thực sự của Milch là chú của bà, Karl Brauer. Milch sau đó đã được cấp Giấy chứng nhận dòng máu Đức.[2] Điều này có nghĩa là bà Clara không chỉ thừa nhận ngoại tình mà còn loạn luân. David Irving trong cuốn sách Sự trỗi dậy và sụp đổ của Luftwaffe. Cuộc đời của Nguyên soái Erhard Milch đã viết rằng Milch yêu cầu ông không được tiết lộ sự thật về cha mẹ của ông, vì thế mặc dù Irving không đề cập đến Anton Milch mà tập trung vào ông chú giàu có Karl Brauer, người đã chết vào năm 1906, song không hề khẳng định người này là cha của Milch.[3] Hernman Goring kết thúc cuộc điều tra, tuy nhiên vào năm 1946 khi Milch bị đưa ra xét xử tại tòa án Nuremberg, Robert H. Jackson đã đặt ra câu hỏi về bố của Milch và vai trò của Goring trong vấn đề gốc gác Do Thái của ông.[4]